أبى العاص إلى الطائف وهو جد عبد الملك كان يرعى الغنم ويأوى إلى جبيلة وهي الكرمة ولم يزل ذلك حتى ولى عثمان الخلافة فرده وكان الحكم عمه ويقال إن عثمان رضى اللّه عنه كان رسول اللّه صلى اللّه عليه وسلم قد أذن له في رده ان أفضى الأمر إليه وروى خالد عن أبيه وعن دحية الكلبي وروى الزهري عنه ورجاء بن ( حياة ) حيوة والعباس بن عبد اللّه بن عباس وغيرهم وروى له أبو داود قال شهاب الدين أبو شامة كان يتعصب لأخوال أبيه كلب يعينهم على قيس في حرب كانت بين قيس عيلان وكلب وقال الزبير بن بكار فولد يزيد ابن معاوية معاوية وخالدا وأبا سفيان وأمهم أم هاشم بنت هاشم بن عتبة بن ربيعة يعنى ابنة خالة أبيه وقال عمّى مصعب زعموا هو الذي وضع ذكر السفياني وكسّره وأراد أن يكون للناس فيهم مطمع حين غلبه مروان بن الحكم على الملك وتزوج أمّه أم هاشم وكانت أمه تكنى به وقال محمد بن جرير وكان يقال إنه أصاب علم الكيمياء قال الشيخ شمس الدين وهذا لم يصح وداره بدمشق دار الحجارة باب الدرج شرقي المسجد وكان أخواه معاوية وعبد الرحمن وهو من صالحي القوم وكان خالد يصوم الأعياد كلها الجمعة والسبت والأحد وكان يقال ثلاثة أبيات من قريش توالت خمسة خمسة في الشرف كل منهم أشرف أهل زمانه خالد بن يزيد بن أبي سفيان بن حرب وأبو بكر بن عبد الرحمن بن الحارث بن هشام بن المغيرة وعمرو بن عبد اللّه بن صفوان بن أمية بن خلف وتوفى خالد سنة تسعين أو ما دونها فشهده الوليد بن عبد الملك وهو خليفة وصلى عليه وقال ليلق بنى أمية الأردية على خالد فلن يتحسروا على مثله . قال الزبير بن بكار وكان خالد وأخواه وعبد اللّه وعبد الرحمن من صالحي القوم جاءه رجل فقال له قد قلت فيك بيتين قال فأنشدهما قال على حكمي قال نعم فأنشده سألت الندى والجود حرّان * أنتما فقالا اننا لعبيد فقلت فمن مولاكما فتطاولا * علىّ وقالا خالد بن يزيد